#[容器镜像]
IMAGE_NAME={{ image_name }}
IMAGE_TAG={{ image_tag }}
#[推理服务所在容器的名称]
CONTAINER_NAME={{ container_name }}
#[模型路径]
MODEL_PATH={{ model_path }}
#[ray开放的端口]
RAY_PORT={{ ray_port }}
#[节点个数]
NODE_NUM={{ node_num }}
#[拉起服务前是否停止其他容器]
IS_STOP_OTHER_CONTAINER={{ is_stop_other_container }}
#[推理服务端口]
LLM_PORT={{ llm_port }}
#[DP通信端口]
DP_PORT={{ dp_port }}
#[ray集群使用的网卡]
RAY_DEVICE={{ ray_device }}
#[模型权重类型]
MODEL_TYPE={{ model_type }}
#[模型后端类型]
BACKEND_TYPE={{ backend_type }}